2장. 파운데이션 모델 이해하기

파운데이션 모델의 설계는 학습 데이터·모델 아키텍처·사후 학습·샘플링이라는 네 축으로 결정되며, 이 선택들이 모델의 성능·비용·사용성을 좌우한다.

출처 Chip Huyen, 『AI 엔지니어링』(한국어판), 2장 (pp. 86~152)

학습 목표

이 장을 끝내면 다음을 할 수 있다.

• 파운데이션 모델의 성능·비용·사용성을 결정하는 네 가지 축(학습 데이터·아키텍처·사후 학습·샘플링)을 설명한다.
• 커먼 크롤의 언어 분포 불균형이 모델 성능과 토큰화 비용에 미치는 구체적 영향을 분석한다.
• 트랜스포머 어텐션 메커니즘이 seq2seq를 개선한 두 가지 핵심 방식을 구분한다.
• 친칠라 스케일링 법칙으로 컴퓨팅 최적 모델 크기를 추정한다.
• 온도·top-k·top-p 파라미터를 애플리케이션 특성에 맞게 조절한다.
• 환각의 두 가설(자기 기만 vs 내부 지식 불일치)을 설명하고 완화 방법을 제시한다.

전체 흐름도

이 장의 핵심은 "파운데이션 모델은 어떤 결정들로 만들어지고, 그 결정들이 성능·비용·사용성에 어떻게 영향을 주는가" 다.

[ 학습 데이터 ]
      │  품질 > 양  /  언어·도메인 분포가 할 수 있는 일의 한계를 결정
      │  Common Crawl (주류) → 영어 45.88%, 러시아어 5.97%
      │  저자원 언어 과소 대표: 펀자브어 231배, 스와힐리어 115배 격차
      │  토큰화 효율 격차: 버마어는 영어 대비 10배 토큰 필요 → 비용 10배
      │  도메인 특화 데이터 → 범용 모델이 못 닿는 의료·생물학 등
      ▼
[ 모델 아키텍처 ]
      │  seq2seq(RNN) → 정보 손실·순차 처리 느림
      │  트랜스포머 → 어텐션(Q·K·V) 병렬 처리  [현재 지배적]
      │  MoE(전문가 혼합) → 희소 활성화로 비용 ↓
      │  스케일링 법칙(친칠라) → 파라미터·토큰·FLOP 균형이 성능을 결정
      │  학습 토큰 수 = 모델 파라미터 수 × 20 (컴퓨팅 최적)
      ▼
[ 사전 학습 모델 ]  ← 두 가지 문제: 대화 부재 + 유해 데이터
      │
      ├─ SFT (지도 파인튜닝) ← (프롬프트, 응답) 시연 데이터로 대화 방법 학습
      └─ 선호도 파인튜닝 ← RLHF (보상 모델) / DPO (직접 최적화) / RLAIF (AI 피드백)
      ▼
[ 사후 학습 완료 모델 ]  ← 사람의 의도에 정렬됨
      │  사후 학습은 사전 학습 대비 약 2%의 연산만 소비
      ▼
[ 추론 단계 : 샘플링 ]
      │  로짓 벡터 → 소프트맥스 → 확률 분포
      │  온도 / top-k / top-p 로 창의성·일관성 조절
      │  테스트 시점 연산 (Best of N / 빔 검색) → 검증자로 최선 선택
      ▼
[ 출력 제어 ]
      │  구조화 출력 강제: 프롬프팅 → 후처리 → 테스트 시점 연산 → 제약 샘플링 → 파인튜닝
      │  확률적 특성 관리: 환각의 두 가설 / 비일관성 / 자기 기만
      ▼
[ AI 애플리케이션으로 ]  ← 3장 이후 (평가·프롬프트·RAG·파인튜닝)

0. 사전 필수 용어

참고 — 이 장은 모델 내부를 개략적으로 이해하는 것이 목적이다. 수식과 아키텍처 세부 사항은 필요에 따라 건너뛰어도 이후 장을 읽는 데 지장이 없다.

• 트랜스포머(Transformer) — 어텐션 메커니즘을 핵심으로 삼는 신경망 아키텍처. 현재 언어 기반 파운데이션 모델의 지배적 구조. 입력 토큰을 병렬 처리할 수 있어 RNN 대비 빠르다.
• 어텐션(Attention) — 모델이 출력 토큰을 생성할 때 입력 토큰 각각에 서로 다른 가중치를 부여하는 메커니즘. Q(쿼리)·K(키)·V(값) 벡터로 구현된다.
• 사후 학습(Post-training) — 사전 학습된 모델을 SFT와 선호도 파인튜닝(RLHF·DPO·RLAIF 등)을 거쳐 사람의 의도에 맞게 조정하는 과정.
• 샘플링(Sampling) — 모델이 로짓 벡터에서 확률 분포를 계산한 뒤 다음 토큰을 고르는 과정. 온도·top-k·top-p 등의 전략으로 창의성과 일관성을 조절한다.
• 스케일링 법칙(Scaling Law) — 모델 파라미터 수·학습 토큰 수·FLOP이 균형 있게 늘어날수록 모델 성능이 예측 가능하게 향상되는 경험적 관계. 친칠라 스케일링 법칙이 대표적.
• 로짓(Logit) — 신경망이 출력하는 원시 점수 벡터. 소프트맥스를 거쳐 확률로 변환된다. 로그프롭(logprob)은 이 확률의 로그 스케일 표현으로, 언더플로 방지와 평가·분류에 유용하다.
• 환각(Hallucination) — 모델이 학습 데이터에 근거하지 않거나 사실과 다른 내용을 생성하는 현상. LLM 이전에도 생성 모델에서 알려진 현상이다.

1. 학습 데이터 — 모델이 할 수 있는 일의 한계를 결정한다

AI 모델은 학습한 데이터의 특성에 따라 할 수 있는 일이 정해진다. 학습 데이터에 한국어가 없으면 한국어 번역이 불가능하고, 특정 도메인 데이터가 없으면 해당 분야에서 좋은 성능을 내기 어렵다. 대규모 모델 학습에 필요한 데이터 확보는 어렵고 비용이 크기 때문에, 모델 개발자들은 원하는 데이터가 아닌 구할 수 있는 데이터를 최대한 활용하는 경향이 있다.

커먼 크롤(Common Crawl) — 실제로 어디서 오는가. 비영리 단체가 인터넷을 주기적으로 크롤링해 만드는 데이터셋으로, 2022~2023년에는 매월 약 20~30억 개의 웹 페이지를 크롤링했다. 구글은 C4(Colossal Clean Crawled Corpus)라는 정제된 부분집합을 제공한다. 낚시성 제목·허위 정보·음모론·혐오 발언도 포함되며, 워싱턴 포스트 연구에 따르면 상위 1,000개 웹사이트에 NewsGuard 신뢰성 평가가 낮은 언론매체가 다수 포함되어 있다. 데이터를 쉽게 구할 수 있다는 이유로 GPT-3·Gemini 등 학습 데이터 출처를 공개하는 대부분의 파운데이션 모델이 커먼 크롤을 가공해 사용한다.

품질 필터링을 위해 휴리스틱을 쓰기도 한다. 오픈AI는 GPT-2 학습 시 레딧에서 추천 수 3개 이상 게시글만 사용했지만, 이 역시 완벽하지 않다.

데이터 품질이 양보다 중요하다.

구나세카르(Gunasekar) 등의 연구(2023)에서 70억 개의 고품질 코딩 데이터 토큰으로 학습한 13억 파라미터 모델이 여러 중요한 코딩 벤치마크에서 훨씬 큰 모델들보다 뛰어난 성능을 보였다. 데이터의 양·품질·다양성 세 가지가 모두 핵심 목표다.

1.1 다국어 불균형

커먼 크롤 분석(Lai et al., 2023) 결과 언어별 분포가 극도로 불균형하다.

저자원 언어 과소 대표 현황 (표 2-2):

이 불균형으로 인해 GPT-4는 MMLU 벤치마크에서 영어 성능이 가장 높고, 텔루구어·마라티어·펀자브어 등 저자원 언어에서 크게 떨어진다. 예니 준(Yennie Jun)의 실험에서 GPT-4는 프로젝트 오일러 수학 문제를 영어로 아르메니아어·페르시아어보다 3배 이상 잘 풀었고, 버마어·암하라어 문제는 6개 모두 풀지 못했다.

토큰화 효율성 격차. 동일한 의미를 전달할 때 언어마다 토큰 수 차이가 크다. MASSIVE 데이터셋 기준 영어 문장당 토큰 중간값은 7개인데, 힌디어는 32개, 버마어는 72개로 영어보다 약 10배 많다. 토큰당 과금 API에서 버마어는 영어보다 10배 비싸다.

다국어 서비스의 추가 문제. 단순히 영어로 번역 후 역번역하는 방식에는 한계가 있다. 베트남어처럼 화자 간 관계를 나타내는 대명사가 있는 언어는 영어로 번역하면 관계 정보가 손실된다. 또한 NewsGuard 연구(2023년 4월)에 따르면 ChatGPT(오픈AI의 초기 버전)는 중국어(간체·번체)로 요청했을 때 7번 중 7번 거짓 정보를 생성했지만, 영어에서는 7번 중 1번만 생성했다. 이런 언어별 행동 차이의 원인은 사전 학습 데이터나 인간 피드백 데이터의 편향일 수 있다.

1.2 도메인 특화 모델

범용 모델은 C4 데이터 도메인 분포를 반영한다. 워싱턴 포스트 분석에 따르면 비즈니스·산업 16%, 기술 15%, 뉴스·미디어 13%, 예술·엔터테인먼트 11% 등이다.

신약 발견(단백질·DNA·RNA 서열), 암 선별 검사(X선·fMRI), 건축 설계 같은 도메인 특화 작업은 범용 모델이 학습 중에 접하지 못한 데이터를 요구한다.

• 딥마인드 AlphaFold — 약 10만 개의 단백질 서열과 3D 구조로 학습한 단백질 구조 예측 모델
• 엔비디아 BioNeMo — 신약 발견을 위한 생체분자 데이터 특화 모델
• 구글 Med-PaLM 2 — 의료 데이터와 LLM을 결합해 의료 질의 응답 정확도를 높인 모델
• 건축 스케치 모델 — 스테이블 디퓨전보다 건축가의 작업을 훨씬 잘 지원

도메인 특화 모델은 처음부터 특화 데이터로 학습하거나, 범용 모델 위에 파인튜닝한다.

2. 모델 아키텍처 — 트랜스포머와 그 한계

모델 아키텍처는 성능뿐 아니라 배포 편의성, 지연 시간 최적화 방식에도 영향을 미친다. 7B 파라미터 모델은 175B 모델보다 배포가 훨씬 쉽고, 최적화 방법도 아키텍처마다 완전히 다르다.

2.1 seq2seq에서 트랜스포머로 — 해결한 두 문제

seq2seq 아키텍처는 2014년 소개 후 기계 번역·요약에서 성능을 크게 개선했고, 2016년 구글 번역에 도입되었다. 구조는 인코더(입력 처리)와 디코더(출력 생성)로 구성되며, 둘 다 RNN을 사용한다.

seq2seq의 두 가지 문제:

트랜스포머는 어텐션 메커니즘으로 두 문제를 모두 해결했다.

참고 — 어텐션 메커니즘은 트랜스포머 논문(2017)보다 3년 먼저 등장했다(Bahdanau et al., 2014). 구글은 2016년 GNMT에서 seq2seq+어텐션을 사용했으나, 트랜스포머가 RNN 없이 어텐션만으로 작동할 수 있음을 보이기 전까지는 기계 번역 분야를 넘어 AI 전반으로 큰 주목을 받지 못했다.

2.2 어텐션 메커니즘 — Q·K·V

어텐션의 핵심은 쿼리(Q)·키(K)·값(V) 벡터다.

어텐션 메커니즘은 Q와 K의 내적(dot product)으로 각 입력 토큰에 얼마나 주목할지 점수를 계산하고, 그 가중치로 V를 종합해 다음 토큰을 만든다.

수식: Attention(Q, K, V) = softmax(QK^T / sqrt(d)) V

라마 2-7B 기준 모델 은닉 차원은 4096이므로, Q·K·V 행렬은 각각 4096×4096 크기다. 멀티헤드 어텐션에서는 32개 헤드로 나뉘어 각 헤드는 128차원을 담당한다.

컨텍스트 길이 한계. 이전 토큰마다 K·V 벡터가 있기 때문에, 시퀀스가 길어질수록 더 많은 K·V 벡터를 계산하고 저장해야 한다. 이것이 트랜스포머 모델의 컨텍스트 길이를 늘리기 어려운 이유 중 하나다.

2.3 트랜스포머 블록 구조

각 트랜스포머 블록은 두 모듈로 구성된다.

• 어텐션 모듈 — Q·K·V·출력 투영, 네 개의 가중치 행렬
• MLP 모듈 — 선형 레이어(피드포워드 레이어) + 비선형 활성화 함수(ReLU·GELU 등)

왜 단순한 활성화 함수가 잘 작동하는가: 모델에는 피드포워드 레이어의 선형성을 깨기 위한 비선형 함수만 있으면 된다. 더 정교한 활성화 함수는 학습 연산과 메모리를 너무 많이 차지하므로, 계산이 빠른 단순한 함수가 더 좋다.

트랜스포머 블록 이전에는 임베딩 모듈(토큰 임베딩 + 위치 임베딩)이, 이후에는 출력 레이어(언임베딩 레이어, 로짓→토큰 확률 변환)가 있다.

모델 크기를 결정하는 주요 값: 모델 차원, 트랜스포머 블록 수, 피드포워드 레이어 차원, 어휘 크기.

라마 2·3 모델들의 차원 값 예시 (표 2-4): - 라마 3-405B: 블록 수 126, 모델 차원 16,384, FF 차원 53,248, 어휘 128K, 컨텍스트 128K

2.4 추론의 두 단계 — 프리필과 디코드

• 프리필 — 입력 토큰을 병렬 처리. 첫 출력 토큰 생성에 필요한 중간 상태를 만들며, 각 입력 토큰의 K·V 벡터를 저장
• 디코드 — 출력 토큰을 한 번에 하나씩 순차 생성

이 두 단계의 특성 차이가 9장에서 다루는 추론 최적화 기법들을 낳는다.

2.5 트랜스포머 이후의 아키텍처 경쟁

트랜스포머는 2017년부터 최적화되어 왔고, 새로운 아키텍처는 사람들이 사용하는 하드웨어에서 현실적으로 활용 가능한 수준의 성능을 보여줘야 한다. 일리야 서츠키버에 따르면, 기존 아키텍처도 새로운 아키텍처를 잠재적으로 시뮬레이션할 수 있어 기존 아키텍처를 능가하기 어렵다.

3. 모델 크기와 스케일링 법칙

모델 규모를 나타내는 세 가지 숫자:

파라미터 수와 GPU 메모리: 16비트 정밀도 기준, 7B 모델은 최소 14GB GPU 메모리 필요.

전문가 혼합(MoE) — 희소성의 활용. MoE는 파라미터를 여러 전문가 그룹으로 나누고, 토큰마다 일부 전문가만 활성화한다.

예: 믹스트랄 8x7B - 총 파라미터: 467억 (8개 전문가 × 7B, 일부 공유) - 토큰당 활성화: 129억 파라미터 (8명 중 2명 활성화) - 비용·속도: 129억 파라미터 모델 수준

친칠라 스케일링 법칙 (DeepMind, 2022). 컴퓨팅 최적 모델을 만들기 위한 규칙. 7천만~160억 파라미터 400개 모델을 50억~5천억 토큰으로 학습해 도출했다.

핵심 발견: 학습 토큰 수 = 모델 파라미터 수 × 20

예: 30억 파라미터 모델 → 600억 토큰 필요. 모델 크기가 2배가 될 때마다 학습 토큰 수도 2배가 되어야 한다.

단, 이 스케일링 법칙은 컴퓨팅 예산이 주어졌을 때 모델 품질을 최적화한다. 라마는 최적 성능에 미치지 못하지만 더 작은 모델을 선택해 추론 비용을 낮추고 사용성을 높인 대표 사례다.

FLOP과 FLOP/s 구분: - FLOPs: 작업에 필요한 전체 연산량 (GPT-3 175B: 3.14×10²³ FLOPs) - FLOP/s: 기기의 초당 처리 성능 (H100 NVL: 최대 60 TeraFLOP/s) - 일반적인 활용률: 50% 달성이면 괜찮은 수준, 70% 이상이면 매우 좋음 - GPT-3 175B 학습 비용 추정: H100 256대×$2/시간×236일÷0.7 = 약 414만 달러

스케일링 병목 현상 — 데이터와 전기.

데이터: 학습 데이터셋 증가율이 새로 생성되는 데이터 증가율보다 훨씬 빠르다(Villalovos et al., 2022). C4의 가장 중요한 소스의 28% 이상이 2023~2024년 사이 서비스 약관 변경으로 완전히 사용 불가해졌고, C4의 45%가 접근 불가능한 상태다. 독점 데이터(저작권 있는 책, 의료 기록, 유전체 서열 등)가 AI 경쟁의 핵심 자산이 되고 있다.

전기: 데이터센터가 전 세계 전기의 현재 1~2%를 소비하며, 2030년까지 4~20%에 도달할 것으로 예상된다.

AI 생성 데이터로 새 모델을 재귀적으로 학습하면 성능이 저하될 수 있다는 '모델 붕괴' 우려도 있다(Shumailov et al., 2023).

4. 사후 학습 — 사전 학습 모델의 두 가지 문제를 해결한다

사전 학습된 모델의 두 가지 문제: 1. 자기 지도 학습으로 대화가 아닌 텍스트 완성에 최적화 — "피자 만드는 법" 입력 시 질문에 답하는 대신 문장을 완성하려 한다 2. 인터넷 데이터에 인종 차별적·성차별적·유해한 내용 포함

사후 학습은 일반적으로 두 단계로 구성된다. InstructGPT는 사후 학습에 2%, 사전 학습에 98%의 연산을 할애했다. 사후 학습은 사전 학습 모델이 이미 갖추고 있지만 단순 프롬프트로 활용하기 어려운 능력을 끌어내는 과정이다.

어떤 사람은 사전 학습을 지식을 습득하기 위한 독서에, 사후 학습을 그 지식을 사용하는 법을 배우는 것에 비유한다.

4.1 지도 파인튜닝(SFT) — 행동 복제

(프롬프트, 응답) 형식의 시연 데이터로 모델을 파인튜닝한다. 모델이 학습 데이터를 모방하므로, 올바른 응답 예시를 보여주면 그 패턴을 학습한다. 이 과정을 행동 복제라고 부른다.

InstructGPT 파인튜닝에 사용한 프롬프트 분포: 생성(질의응답) 45.6%, 개방형 질의응답 12.4%, 브레인스토밍 11.2%, 채팅 8.4%, 추출 6%, 기타.

시연 데이터에는 비판적 사고와 전문 지식이 필요해 고학력 레이블러를 고용한다. InstructGPT의 경우: - 레이블러 약 90%가 대학 학위 이상, 1/3 이상이 석사 학위 - (프롬프트, 응답) 쌍 하나에 평균 10달러, 롱 컨텍스트 작업은 최대 30분 소요 - 13,000개 쌍 작성에 약 13만 달러 (데이터 설계·모집·품질 관리 비용 미포함)

LAION의 오픈 소스 접근법: 13,500명 자원봉사자가 35개 언어로 161,443개 메시지(10,000개 대화)를 생성했으나, 자원봉사자의 90%가 남성으로 편향 문제가 있다.

딥마인드 고퍼의 접근법: 인터넷 데이터에서 [A]: 단락, [B]: 단락 형식의 대화를 휴리스틱으로 필터링해 시연 데이터로 활용.

4.2 선호도 파인튜닝 — RLHF, DPO, RLAIF

SFT는 대화 방법을 가르치지만 어떤 종류의 대화를 해야 하는지는 가르치지 않는다. 문화적·정치적·종교적 배경에 따라 선호도가 다양하기 때문에, 보편적인 선호도를 하나의 수학 공식으로 표현하는 것 자체가 근본적인 어려움이다.

RLHF (인간 피드백 기반 강화학습): 1. 보상 모델 학습: (프롬프트, 선호 응답, 비선호 응답) 비교 데이터로 학습. 포인트와이즈 평가 대신 비교(어느 것이 더 나은지)가 더 신뢰도 높음 2. 파운데이션 모델 최적화: 보상 모델이 높은 점수를 줄 응답을 생성하도록 PPO(Proximal Policy Optimization) 강화 학습

InstructGPT 레이블러 간 일치율 약 73%. LMSYS는 두 응답 수동 비교에 평균 3~5분, 비교당 $3.50 소요.

보상 모델은 사전 학습 또는 SFT 모델 위에 파인튜닝할 수 있으며, 판단하는 것이 생성하는 것보다 쉽기 때문에 약한 모델도 더 강한 모델을 판단할 수 있다.

DPO (직접 선호도 최적화): 보상 모델 없이 비교 데이터로 직접 모델을 학습시켜 복잡성을 줄인다. 메타는 라마 2의 RLHF에서 라마 3의 DPO로 전환했다.

RLAIF (AI 피드백 기반 강화학습): 클로드(Claude)가 사용하는 것으로 알려진 방식.

선호도 파인튜닝 방식별 비교:

일부 기업(스티치 픽스, Grab)은 강화 학습 없이 보상 모델만으로 충분하다고 판단해, 여러 출력을 생성하고 보상 모델이 높은 점수를 준 것을 선택하는 Best of N 방식을 사용한다.

5. 샘플링 기초 — 확률 분포에서 다음 토큰을 고르는 과정

입력이 주어지면 신경망은 로짓 벡터를 출력한다. 각 로짓은 어휘의 한 토큰에 대응한다. 로짓은 확률이 아니므로(합이 1이 아니고 음수 가능) 소프트맥스(softmax) 레이어를 거쳐 확률로 변환한다.

확률이 높은 것만 고르는 방식(그리디 샘플링)은 지루한 출력을 낳는다. 확률 분포에 따라 샘플링하면 다양한 응답이 가능하다. 이 샘플링 과정이 AI를 확률적으로 만들어 창의성을 가능하게 하지만, 동시에 비일관성과 환각의 원인이 된다.

6. 샘플링 전략 — 온도·top-k·top-p

온도 — 창의성과 일관성의 균형.

온도는 소프트맥스 변환 전에 로짓을 조정하는 상수다. 조정된 로짓 = 원래 로짓 / 온도. 그 후 조정된 로짓에 소프트맥스를 적용한다.

예: 로짓 [1, 2]에서 - 온도 1.0: 소프트맥스 확률 [0.27, 0.73] - 온도 0.5: 소프트맥스 확률 [0.12, 0.88]

창의적 활용에는 온도 0.7이 자주 권장된다. 모델 제공업체들은 일반적으로 온도를 0~2 사이로 제한한다.

top-k — 상위 k개만 고려.

소프트맥스는 전체 어휘에 대해 연산해 비용이 크다. top-k는 로짓 상위 k개(50~500)만 선택해 소프트맥스를 수행하고 그 중에서 샘플링한다. k가 작을수록 예측 가능하지만 덜 흥미롭다.

top-p (뉴클리어스 샘플링) — 누적 확률로 후보 결정.

top-k는 후보 수가 고정되어 있지만, top-p는 가장 가능성 높은 토큰부터 누적 합산해 p(예: 0.9)에 도달하는 최소한의 집합만 고려한다.

예: 토큰 확률 yes 60%, maybe 31%, no 8%에서 - top-p=0.90: yes+maybe(91%)만 고려 - top-p=0.99: yes+maybe+no(99%) 고려

단순 질문("예/아니오")에는 자연스럽게 후보가 적어지고, 개방형 질문에는 많아진다. 일반적으로 0.9~0.95 권장.

top-k와 달리 top-p는 소프트맥스 계산 부하를 반드시 줄여주지는 않는다. 이론적으로 장점이 크지 않아 보이지만, 실제로 잘 작동해 인기가 높다.

참고 — min-p는 고려 대상이 될 토큰의 최소 확률을 설정하는 관련 전략이다.

중단 조건. 최대 토큰 수 또는 중단 토큰(시퀀스 종료 토큰)으로 생성을 멈출 수 있다. 중단 조건 없이 긴 출력은 더 많은 비용과 지연 시간을 유발한다. 단, 조기 중단 시 JSON 닫는 괄호 누락처럼 출력 형식이 잘못될 수 있다.

7. 테스트 시점 연산 — 여러 출력을 샘플링해 품질을 높인다

질의당 하나의 응답 대신 N개의 응답을 생성하고, 그 중 가장 좋은 것을 선택하는 전략(Best of N)이다. 여러 출력을 생성하는 방법에 대해 더 전략적으로 접근할 수 있다. 빔 검색은 시퀀스 생성 단계마다 가장 가능성 높은 후보(빔)들을 정해진 개수만큼 생성한다.

최선 선택 방법: - 평균 로그프롭이 가장 높은 것 선택 (오픈AI API의 best_of 파라미터) - 보상 모델 점수로 선택 (넥스트도어, 스티치 픽스, Grab 사례) - 애플리케이션별 휴리스틱 (더 짧은 답변, 유효한 SQL 쿼리 등) - 다수결(자기 일관성, Wang et al., 2023) — 수학 문제나 객관식 문제에 유용. 구글이 MMLU에서 Gemini 평가 시 문제당 32개 출력 샘플링, 단일 출력보다 높은 점수 - 병렬 생성 후 가장 먼저 완성되는 유효한 응답 선택 (TIFIN 사례)

테스트 시점 연산의 실용적 가치: - 검증자(보상 모델) 사용이 모델 크기를 30배 늘리는 것과 비슷한 성능 향상 (OpenAI, Cobbe et al., 2021) - 딥마인드: 테스트 시점 연산 확장이 모델 파라미터 확장보다 더 효율적일 수 있음 (Snell et al., 2024) - 오픈AI 실험: 400개 출력까지만 성능 향상, 그 이후로는 검증자를 속이는 적대적 출력 가능성 증가 - 스탠퍼드 실험(몽키 비즈니스): 샘플 수 1→10,000으로 증가 시 해결된 문제 수가 로그 선형적으로 증가

비용: 평균적으로 두 개 출력은 하나보다 약 두 배 비용. 단, 같은 입력에 대해 여러 출력을 생성하는 경우 입력은 한 번만 처리해 일부 비용 절감 가능.

모델이 덜 견고할수록(입력이 조금 달라져도 출력이 크게 변할수록) 여러 출력 샘플링이 더 유리하다.

참고 — '테스트 시점'은 AI 연구에서 학습된 모델의 성능 평가(추론)를 의미한다. 이 기법은 운영 환경에도 적용 가능하다.

8. 구조화된 출력 — JSON·SQL 등 특정 형식 강제

실제 서비스에서 구조화 출력이 필요한 두 가지 시나리오:

1. 구조화 출력 자체가 필요한 작업: 시맨틱 파싱(자연어→SQL·정규식), 분류(유효 클래스만 출력)
2. 다운스트림 애플리케이션에서 출력 사용: 에이전트 워크플로에서 모델 출력이 도구 입력으로 전달

구조화 출력을 강제하는 다섯 가지 접근 방식 (임시방편 → 집중 처리 순):

주의 — 오픈AI의 JSON 모드는 출력이 유효한 JSON임만 보장하며, 최대 토큰 길이 초과 시 잘려나가 파싱 불가 가능.

구조화 출력 지원 프레임워크: guidance, outlines, instructor, llama.cpp. 오픈AI가 JSON 모드를 도입한 최초의 모델 제공업체였다.

9. AI의 확률적 특성 — 비일관성과 환각

9.1 확률적 특성의 양면

샘플링으로 인해 AI 모델은 확률적이다. 같은 질문을 두 번 해도 응답이 달라질 수 있다. AI가 생각하는 답변 확률이 분포로 되어 있어 매번 다른 토큰이 샘플링된다. 이 확률적 특성이 창의성을 만들지만(새로운 아이디어·디자인), 창의성이 필요 없는 작업에서는 단점이 된다.

9.2 비일관성

두 가지 형태: 1. 같은 입력, 다른 출력 — 응답 캐싱, 온도·top-p·top-k 고정, 시드 변수 고정으로 완화. 단 100% 일관성 보장 불가(하드웨어 차이 영향) 2. 살짝 다른 입력, 완전히 다른 출력 — 신중한 프롬프트(5장)와 메모리 시스템(6장)으로 완화

2023년 12월 필자가 자문한 AI 기업의 3개월 고객 문의 중 1/5이 AI 모델의 비일관성에 관한 것이었다.

9.3 환각 — 원인과 두 가설

환각은 LLM 이전에도 생성 모델에서 흔한 현상이었다(2016년 Goyal et al. 처음 언급). 파운데이션 모델은 대규모 데이터셋으로 학습되어 다양한 가능성을 담고 있고, 0이 아닌 확률이면 아무리 터무니없는 내용도 생성할 수 있다.

가설 1 — 자기 기만(Self-delusion) (딥마인드, Ortega et al., 2021):

모델이 자신이 생성한 데이터와 주어진 데이터를 구분하지 못해 환각이 발생한다. 모델이 "칩 후옌은 아키텍트입니다"라는 문장을 생성하면, 그 다음 토큰 생성 시 이 문장을 주어진 사실처럼 취급한다. LLaVA-v1.5-7B의 예시: 샴푸병 이미지에 성분을 묻자, 제품이 우유병이라고 스스로 납득한 뒤 우유 성분을 계속 포함시켰다.

'눈덩이처럼 불어나는 환각'(Zhang et al., 2023): 잘못된 첫 가정을 정당화하기 위해 연쇄적으로 환각이 발생한다. 예시: GPT-4에게 9677이 소수인지 물었을 때, "아니요, 13×745=9677입니다"라고 답한 후, 실제로 9677이 13으로 나누어지지 않는다는 것을 알면서도 초기 잘못된 가정 때문에 나누어진다고 계속 주장했다. 별도 세션에서는 자신의 주장이 틀렸다는 것을 인식했다.

완화 방법: 강화 학습으로 모델이 프롬프트(관찰)와 생성 토큰(행동)을 구분하도록 학습, 사실·반사실적 데이터를 학습 데이터에 포함.

가설 2 — 내부 지식 불일치 (오픈AI 연구원 Leo Gao, 존 슐만):

SFT 과정에서 레이블러의 응답이 레이블러는 가지고 있지만 모델은 없는 지식을 사용하면, 사실상 모델에게 환각을 일으키도록 학습시키는 것이다.

슐만의 두 가지 해결책: 1. 검증 — 각 응답에 대해 모델이 근거 출처를 검색하도록 요청 2. 강화 학습 — 환각 시 더 큰 불이익을 주는 보상 함수 설계

흥미롭게도 InstructGPT 논문에서 RLHF가 환각을 증가시킨 것으로 나타났다. RLHF로 인해 환각은 증가했지만 다른 측면을 개선했으며, 전반적으로 레이블러는 SFT만 사용한 모델보다 RLHF 모델을 선호했다.

두 가설은 서로 보완적: 자기 기만 가설은 자기 지도 학습이 어떻게 환각을 일으키는지, 내부 지식 불일치 가설은 지도 학습이 어떻게 환각을 일으키는지에 초점을 맞춘다.

실무 완화 방법: - "최대한 진실되게 응답하고, 확실히 모르면 '모르겠습니다'라고 말하세요" 같은 프롬프트 - 모델에게 간결한 응답 요청 (생성 토큰이 적을수록 만들어낼 기회 감소) - 5장 프롬프팅, 6장 컨텍스트 구성 기법 활용

핵심 개념 정리

실무 체크리스트

• [ ] 모델 선택 전 학습 데이터 언어·도메인 분포를 확인했는가?
• [ ] 저자원 언어 지원이 필요한 경우 토큰화 비용 격차(최대 10배)를 감안했는가?
• [ ] 단순 번역 방식의 한계(관계 정보 손실, 언어별 정책 불일치)를 검토했는가?
• [ ] 모델 파라미터 수와 GPU 메모리 요구사항을 계산했는가? (7B 모델 → 최소 14GB)
• [ ] 친칠라 스케일링 법칙으로 컴퓨팅 예산 대비 최적 모델·데이터 크기를 추정했는가?
• [ ] 사용 목적에 맞는 SFT·선호도 파인튜닝 단계가 적용된 모델을 선택했는가?
• [ ] 온도·top-k·top-p 파라미터를 애플리케이션 특성에 맞게 실험했는가?
• [ ] 중요도가 높은 출력에 테스트 시점 연산(Best of N)을 고려했는가?
• [ ] 구조화 출력이 필요한 경우 프롬프팅→후처리→제약 샘플링→파인튜닝 순서로 시도했는가?
• [ ] 환각 완화를 위해 "모르면 모른다고 말하라" 프롬프트와 간결한 응답 요청을 적용했는가?
• [ ] AI 출력의 확률적 특성을 고려한 검증 단계를 워크플로에 포함했는가?

연습문제

1. 개념. 커먼 크롤을 학습 데이터로 사용하는 모델의 잠재적 문제 두 가지를 설명하고, 각각 어떻게 완화할 수 있는지 말하라.
2. 비교. seq2seq(RNN 기반)와 트랜스포머가 동일한 번역 작업을 처리할 때 성능과 속도 측면에서 왜 차이가 나는지 어텐션 메커니즘을 중심으로 설명하라.
3. 적용. 온도를 0.1로 설정하는 것과 1.5로 설정하는 것이 각각 적합한 애플리케이션 시나리오를 하나씩 들고, 이유를 설명하라.
4. 분석. 환각의 두 가설(자기 기만 vs 내부 지식 불일치)을 비교하고, 각 가설에 근거한 완화 전략을 설명하라.
5. 설계. Text-to-SQL 변환 서비스를 만든다고 할 때, 구조화 출력을 보장하기 위한 단계별 방어 전략을 프롬프팅부터 파인튜닝까지 우선순위 순으로 설계하라.

최신 동향 (2026-05 기준)

최신 동향 (검증 2026-05-21) — 파운데이션 모델의 원리(자기 지도학습·아키텍처·친칠라 스케일링)는 책 내용이 유효하다. 단 구체 모델 세대·컨텍스트 한도·멀티모달 범위·요금 체계는 빠르게 갱신되므로 최신 수치는 제공자 공식 문서(Anthropic·Hugging Face·Google AI)로 확인하라. 추론 특화 모델(테스트 시점 연산 통합)이 보편화되는 흐름이며, 데이터 병목과 전력 병목이 실제 산업 이슈로 부상했다.

부록 A. 용어 사전

부록 B. 핵심 비교표

seq2seq(RNN 기반) vs 트랜스포머

SFT vs 선호도 파인튜닝 (RLHF / DPO)

top-k vs top-p 샘플링

환각의 두 가설 비교

부록 C. 추천 참고 자료

검증된 외부 자료 (Tier 1 공식, 생존 확인 2026-05-21)

부록 D. 연습문제 풀이

1. (품질 문제 + 다국어 불균형) 커먼 크롤은 낚시성 제목·허위 정보·혐오 발언을 포함하므로 모델이 유해 콘텐츠를 학습할 위험이 있다. 완화책은 레딧 추천 수 같은 품질 휴리스틱 필터링이지만 완벽하지 않다. 두 번째 문제는 영어가 약 46%를 차지하는 언어 불균형으로, 저자원 언어 모델 성능이 크게 떨어지며 토큰화 비용도 최대 10배 높다. 완화책은 해당 언어 특화 데이터를 별도 수집하거나 도메인 특화 파인튜닝을 적용하는 것이다.

2. (어텐션 메커니즘의 두 개선) seq2seq(RNN)는 인코더가 입력 전체를 하나의 은닉 상태로 압축하므로 긴 문장에서 정보 손실이 크고, 순차 처리 특성상 속도가 느리다. 트랜스포머의 어텐션은 출력 토큰을 생성할 때 Q·K 내적으로 모든 입력 토큰의 중요도를 계산해 V를 가중 합산하므로 정보 손실이 없다. 또한 입력 토큰을 병렬 처리할 수 있어 긴 번역 문장에서도 속도가 크게 향상된다.

3. (온도 0.1 vs 1.5 시나리오) 온도 0.1은 그리디 샘플링에 가까워 가장 확률 높은 토큰을 일관되게 선택하므로, 의료 진단 보조 또는 코드 생성처럼 정확성·일관성이 최우선인 애플리케이션에 적합하다. 온도 1.5는 흔한 토큰의 확률을 낮추고 희귀 토큰의 선택 가능성을 높이므로, 광고 카피·소설 초안 작성처럼 다양하고 창의적인 출력이 필요한 애플리케이션에 적합하다.

4. (두 가설 비교 및 완화) 자기 기만 가설은 모델이 자신이 생성한 텍스트를 주어진 사실로 취급해 잘못된 가정에서 출발한 환각이 눈덩이처럼 불어나는 현상을 설명한다. 딥마인드의 사례에서 GPT-4가 9677=13×745라는 잘못된 계산을 했을 때, 이후 모순되는 사실도 초기 가정에 맞게 왜곡했다. 완화책은 강화 학습으로 모델이 프롬프트(관찰)와 생성 토큰(행동)을 구분하도록 학습하는 것이다. 내부 지식 불일치 가설은 SFT 과정에서 레이블러가 모델이 모르는 지식을 담은 응답을 작성하면, 모델이 그 응답을 모방하면서 사실상 환각을 학습하게 된다고 설명한다. 완화책은 각 응답에 대해 근거 출처를 검색하도록 요청하거나, 강화 학습에서 환각 시 더 큰 불이익을 주는 보상 함수를 설계하는 것이다. 두 가설은 보완적이며, 실무에서는 "모르면 모른다고 말하라" 프롬프트와 간결한 응답 요청을 결합해 완화한다.

5. (Text-to-SQL 구조화 출력 방어 전략) 우선순위 순으로 단계를 쌓는다. 첫째, 프롬프팅 — 시스템 프롬프트에 SQL 형식과 예시를 명시해 준수율을 높인다(가장 단순, 비용 최소). 둘째, 후처리 — 모델이 자주 하는 실수(괄호 누락, 따옴표 불일치 등)를 수정 스크립트로 자동 교정한다(링크드인 사례처럼 유효율을 99.99%까지 높일 수 있음). 셋째, 테스트 시점 연산 — 유효한 SQL 쿼리가 나올 때까지 계속 생성한다. 넷째, 제약 샘플링 — 가이던스·아웃라인 같은 프레임워크로 SQL 문법에 맞는 토큰만 샘플링해 구조적으로 잘못된 출력을 원천 차단한다. 다섯째, 파인튜닝 — 대량의 (자연어, SQL) 쌍 데이터로 모델을 파인튜닝해 형식 준수를 모델 자체에 내재화한다(가장 효과적이나 비용 최대).